般若寺は東大寺大仏殿や正倉院の北方、奈良坂と呼ばれる登り坂を登りきった地点に位置する。般若寺楼門前を南北に通る道は「京街道」と呼ばれ、大和国（奈良県）と山城国（京都府）を結ぶ、古代以来重要な道であった。この道はまた、平城京の東端を南北に通っていた東七坊大路（東大寺と興福寺の境をなす）の延長でもある。

創建
般若寺の創建事情や時期については正史に記載がなく、創立者についても諸説あり、正確なところは不明である。ただし、般若寺の境内からは奈良時代の古瓦が出土しており、奈良時代からこの地に寺院が存在していたことは確かである。

寺伝では舒明天皇元年（629年）、高句麗の僧・慧灌の創建とされ、天平7年（735年）、聖武天皇が伽藍を建立し、十三重石塔を建てて天皇自筆の大般若経を安置したというが、これらを裏付ける史料はない。

別の伝承では白雉5年（654年）、蘇我日向が孝徳天皇の病気平癒のため創建したともいう（『上宮聖徳法王帝説』裏書）。

鎌倉時代の文永4年（1267年）、当時の本尊・文殊菩薩像を開眼供養した際の願文（がんもん）では、「般若寺は聖武天皇が創建し、平安時代に僧観賢によって再興された」とする説を採用している。しかし、観賢（854年 – 925年）が関与した「般若寺」は山城国（現・京都市右京区鳴滝般若寺町）にあった寺であり、上記の説は同名別寺院を混同したものである。この、観賢再興説が誤りであるという点は、すでに江戸時代・享保20年（1735年）刊の『奈良坊目拙解』（村井古道著）で指摘されている。

信頼できる史料における「般若寺」の初出は、天平14年（742年）10月3日付の「金光明寺写経所牒」（正倉院文書）であるとされている。ただし、これについても、今の奈良県香芝市にあった片岡寺（別名般若寺）を指すとみる説もある（なお、同市の般若院を片岡寺の尼寺を引き継いだ寺とする説もある。また、蘇我日向が建てた般若寺を片岡寺に充てる東野治之の説もある[1]）。この事例を外した場合には、『日本三代実録』貞観5年（863年）9月26日条に登場する「添上郡般若寺」が初出ということになる[2]。

その後平安時代末頃までの歴史はあまり明らかでない。治承4年（1180年）、平重衡による南都焼討の際には、東大寺、興福寺などとともに般若寺も焼け落ち、その後しばらくは廃寺同然となっていたようである。